Năm Địa Tiết thứ 3 (67 TCN), Hán Tuyên Đế lập con trai của Hứa hậu là Lưu Thích làm Hoàng thái tử; phong ông ngoại Lưu Thích là Hứa Quảng Hán (許廣漢) làm Bình Ân hầu.

Việc này làm phật ý Hoắc phu nhân, vì nếu con gái bà sinh được con trai thì sau này đứa bé cũng chỉ được làm Hoàng tử, không phải Hoàng đế tương lai, bà phàn nàn:「"Đứa bé được sinh ra ở nơi dân dã, lấy tư cách gì mà luận lập làm Thái tử? Bây giờ Hoàng hậu sinh Hoàng tử, Đích xuất hiển hách, lại thành Vương chăng?"」. Do vậy mẹ con Hoắc Hoàng hậu lập mưu diệt trừ Thái tử - điều này Hoắc hậu đã thử nhiều lần nhưng không thành. Cùng lúc đó, Tuyên Đế nghe được tin đồn rằng Hoắc gia giết Hứa Hoàng hậu, nên dần tước đi thực quyền của người nhà họ Hoắc, dù vẫn ban cho họ những tước cao lộc hậu[6].

Năm Địa Tiết thứ 4 (66 TCN), tháng 7, tin đồn ngày càng lan rộng về chân tướng cái chết của Hứa Hoàng hậu. Hoắc phu nhân cuối cùng cũng tiết lộ với con trai và các cháu của mình rằng chính bà là hung thủ hại Hứa Hoàng hậu. Sợ rằng Tuyên Đế sẽ giết cả nhà nếu tìm ra chứng cứ, Hoắc phu nhân cùng con trai, con rể và các cháu trai bày mưu tạo phản, đưa Hoắc Sơn lên ngôi Hoàng đế. Âm mưu này nhanh chóng bị phát giác, toàn bộ gia tộc họ Hoắc bị Tuyên Đế xử tử[7]. Ngày 1 tháng 8 cùng năm đó, Tuyên Đế sau đó hạ chỉ truất phế Hoắc Hoàng hậu vì tội danh hành thích Thái tử Thích, cáo chỉ rằng:「"Hoàng hậu bị u mê lầm lối, lại không tu đức, cùng mẹ là Bác Lục Tuyên Thành hầu phu nhân Hiển âm mưu hãm hại Thái tử, không có cái ân của người làm mẹ, không xứng mang y phục phụng sự Tông miếu, không thể thừa hành Thiên mệnh, Ô hô! Hãy thối lui chốn Ty cung, đưa Tỉ thụ cho Hữu ty!"」[8]. Hán Tuyên Đế quyết định đày Hoắc thị vào Chiêu Đài cung (昭台宫) thuộc Thượng Lâm uyển[9].

Năm Ngũ Phượng thứ 4 (54 TCN), Hán Tuyên Đế lại đày bà đến một nơi xa hơn là Vân Lâm quán (云林馆). Hoắc Hoàng hậu tự sát, được chôn ở phía đông đình Tôn Ngô, nay là địa phận Lam Điền, Tây An[10].